#Token Selection

3 篇

1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation

1% 的 Token 已足够：在线策略蒸馏中的梯度估计

🧭 LLM 稀疏在线蒸馏 token 选择

MBZUAI · Ant Group

提出信息效率比 IER，将有用性与梯度估计可靠性结合做稀疏在线蒸馏 token 选择，0.1%-1% 预算匹配全量 OPD

📌 工作参考价值（4 点）

做 LLM 在线蒸馏或生成式推荐模型压缩时，不必全量 token 蒸馏；用 IER 结合 usefulness 做稀疏 token 监督，0.1%–1% 预算可接近/超过 full OPD，大幅降低 teacher 调用与训练成本。
不要只用 loss 或 uncertainty 选 token；高 useful 的 token 可能梯度估计噪声大，实际更新不稳。可借鉴 IER 的 signal-to-noise 思路，对 token/样本做梯度可靠性二次筛选。
候选集近似是工程可落地的关键：不必对全 vocab 精确计算梯度方差，用较小候选集估计 IER，能直接嵌入现有 sampled reverse-KL 训练流程，适合工业级 RLHF/GRPO/蒸馏 pipeline。
若是 Agent/电商文案生成等多步 trajectory 蒸馏，可把 IER 扩展到 step/token 级预算分配，优先在梯度可靠且 teacher 有信息量的位置蒸馏，节省长轨迹的训练成本。

Training | 2026-09-20 | HF Daily | score 7/10

TSPORec: 基于偏好优化的LLM序列推荐令牌选择

🧭 LLM序列推荐 · 令牌选择与偏好优化 ★ 深度解读

通过偏好优化自动选择信息令牌，在提升序列推荐准确率31%的同时推理开销降低63%

📌 工作参考价值（4 点）

处理商品长文本描述时，可采用类似的令牌选择策略压缩输入序列，优先保留内容词（名词、形容词、实体），滤除高频功能词，在电商推荐中减少 LLM 推理延迟。
chunk-level 选择提供了灵活的粒度控制，工程上可通过调节 chunk size 在性能和效率间取得平衡，离线预计算 item 令牌子集后直接用于在线服务。
偏好优化的 proxy reward 设计简单有效：对比两次采样子序列的交叉熵，无需外部标注，该范式可迁移至搜索、广告创意排序等需要精简文本输入的场景。
三阶段训练（预训练→策略学习→重训练）虽然额外增加训练耗时，但模型一次训练长期部署，适合推荐系统离线优化的节奏，推理效率的提升远大于训练成本。

RecSys | 2026-08-10 | cs.IR | score 9/10

在失败处蒸馏：自适应教师引导恢复负RL组梯度信号

🧭 RL训练优化 · 在线蒸馏 · 梯度信号修复 ★ 深度解读

TJUNLP Lab, Tianjin University · Meituan Longcat Team

针对GRPO中全错样本的梯度消失，用教师置信度加权OPD并选择高价值token蒸馏，辅以正确轨迹SFT，修复学习信号。

📌 工作参考价值（4 点）

识别负零方差prompt并施加额外监督：在GRPO训练中，当一批采样全部错误（负零方差）时，梯度消失。可借鉴本文，仅在这类prompt上启用教师蒸馏或SFT，避免对所有数据盲目使用融合损失。
教师置信度加权蒸馏信号：在应用OPD时，用教师模型在该prompt上的平均成功率作为权重，缩放token级优势。对应到业务 Agent 训练，若用更大模型打分，可将其置信度作为信号强弱指示。
高价值token选择性蒸馏：仅对高学生熵或师生概率差异大的token进行蒸馏，减缓收敛到教师上限，保留RL探索空间。可迁移到推荐话术生成、搜索改写等任务，防止模型过早模仿强模型而丧失多样性。
辅以SFT注入正梯度：对负零方差prompt，额外用教师生成的正确答案做SFT，能缓解OPD的优势不对称问题。在实际应用中，对模型反复失败的困难样本，准备少量高质量示范轨迹能有效引导。

Training | 2026-07-31 | HF Daily | score 8/10